Ông là con trai thứ năm của Samurai Shiba Satazō miền Aizu, Shiba Goro đã chứng kiến cuộc Chiến tranh Boshin khi còn là một đứa trẻ, và đã sống sót sau khi Aizu bị phá hủy. Ông tham gia chính phủ Minh Trị và sau khi làm việc trong thời gian ngắn cho chính quyền tỉnh Aomori, ông đi học tại Học viện Lục quân Đế quốc Nhật Bản. Trong lớp học của ông, có nhiều bạn học mà về sau học rất là thăng tiến trên sự nghiệp, như Uehara Yusaku, Akiyama Yoshifuru, và Hongo Fusataro. Ông được bổ nhiệm làm Trung úy 2 pháo binh năm 1879 và Trung úy 1 vào năm 1884.